Mapping Similarity Spaces across Embedding Models with Synthetic Query Probing
通过合成查询探测映射不同嵌入模型的相似度空间
🧭 嵌入向量相似度跨模型校准
Pegasystems · Leiden University
提出无参考合成查询探测方法,学习分数映射使不同嵌入模型的相似度可比,提升阈值可迁移性
📌 工作参考价值(4 点)
- 模型迁移时的阈值复用:当切换或升级嵌入模型时,利用 isotonic 回归学习旧的相似度分数到新模型分数的单调映射,可直接复用原有检索阈值,避免重做大量 A/B 测试或人工调参。
- 无标注的快速校准:Synthetic Query Probing 通过从文档自动生成查询(如用 LLM 生成)构建配对数据,无需人工标注,可在分钟级完成一次跨模型分数校准,适合频繁迭代模型的场景。
- 多路召回分数融合:在推荐或广告系统的多路召回中,不同路可能使用不同嵌入模型,先对各路分数进行跨模型校准再融合,可提升融合排序的合理性,避免因分数分布差异导致某一路被系统性压制。
- 线上阈值自适应:新模型上线时,仅需少量查询-文档校准对即可在线学习一个轻量映射函数,实现动态阈值调整,降低线上实验风险。